武大最会PS的人，夺冠！

在图片中嵌入新插件如何做到光影无缝融合？在元宇宙中插入新角色怎样才能完美融入背景实现“以假乱真”？快和珞珞珈珈一起走近“AR逐光捕影”团队感受虚拟与现实相融的魅力




冠军队伍“AR逐光捕影”

沉浸式在线商品选购，为用户提供便捷、高效、沉浸感的购买体验；沉浸式虚拟文物呈现，元宇宙5G+科技赋能，足不出户也能逛展……如何在虚拟场景中获得更加沉浸式的体验？如何进一步方便人们的生活，使人们足不出户也能身临其境般地享受各种更具真实感的娱乐体验？

围绕着这些问题，来自武汉大学计算机学院的学生团队——“AR逐光捕影”队，研究出了具备前瞻性和实用性的成果，并且凭借该成果在“华为杯”第四届中国研究生人工智能创新大赛全国总决赛中斩获总冠军。

该团队由武汉大学计算机学院肖春霞教授担任指导老师，成员均为武汉大学计算机学院的研究生，其中，2019级博士鲍中运担任队长，其他成员分别为2020级博士曹拓、2020级学术硕士吴佳明、2020级学术硕士李宗成。

沉浸式体验的帮手——光照技术

AR逐光捕影技术可以被定义为二维（2D）图像和三维（3D）模型的PS技术，顾名思义，其主要任务就是将来自不同场景的2D图像和3D模型嵌入到一个新的真实的场景图像中，然后通过自动调整其外观明暗信息与背景光照信息相一致并生成合理的阴影，实现2D图像和3D模型与该场景图像的高真实感光照无缝融合。

▲ AR逐光捕影技术效果示意图

近些年来，数字人和元宇宙盛行一时，而它们的呈现都离不开光照渲染技术，尤其是想要将元宇宙的主角数字人更加逼真地呈现在大众面前，光照渲染技术显得尤为重要。

虚拟数字人的目标是通过计算机图形学技术创造出与人类形象更加接近的数字化形象，并赋予其特定的人物身份设定，在视觉上拉近和人的心理距离，为人类带来更加真实的情感互动。因此，其最直接的外观呈现需要更生动化、形象化，这样才能给观众更强的代入感。如果缺乏光照渲染技术对其进行处理，给观众最大的感受就是缺乏真实感，无法让人沉浸其中。

▲ 算法整体框架

此次“AI逐光捕影”项目的主要技术创新也属于光照领域——使用N个固定的球面高斯点光源来拟合室内全景的照明信息，并通过估计的光照信息对室内场景中嵌入的三维模型进行光照渲染，实现更具真实感的图像光照一致性融合。此外，利用提取的图像本征属性，团队可以构建一个“端到端”的光照和谐框架，实现二维前景物体与二维真实背景场景之间的光照协调。该技术可广泛地应用于虚拟游戏动画渲染、更具真实感的虚拟数字人交互等。

▲光照渲染技术模型示意图

团结+合作=成功

带着团队在较长一段时间的研究成果能够被认可的希望，“逐光捕影”队选择了自己熟悉的光照领域作为参赛项目。备赛时，他们朝着一开始树立的目标奋战了无数个日夜。看到很多优秀的参赛项目时，成员们也曾倍感压力，但来自评委们的认可给他们带来了充足的信心。漫长的备赛过程，整个团队合理分工、互帮互助，每个人都发挥着至关重要的作用。队长鲍中运负责协调团队以及整个项目规划及管理工作，同时完成项目文档中图像光影一致性匹配算法的技术细节部分的撰写；曹拓则承担着调研项目背景与可行性、收集国内外技术相关资料、实现系统框架和算法模型的任务；吴佳明负责完成技术在安卓端的应用迁移，同时撰写项目文档中基于高维球谐高斯的光照渲染技术细节部分；设计用户界面、实现原型系统、撰写项目文档中基于全景图解耦的光照估计技术细节部分、录制视频等任务则都由李宗成完成。
▲ 答辩现场
决赛答辩前一周，团队成员不仅要在有限的时间内优化算法的模型，同时还要不停地与指导老师肖春霞教授反复修改并演练答辩PPT。毫不夸张地说，最终呈现在评委面前的PPT中的每个字都经过了团队成员的反复推敲。除了实现团队算法的最优性能，他们努力将技术以最通俗易懂的语言呈现给观众，让非光照领域的观众也能听得懂、感受得到。为此，团队成员不断进行集中讨论，推翻了一个又一个方案，最终给出了一个最直接的视频呈现方法，并在较短的时间内学习视频的制作和优化，顺利地完成任务。

在鲍中运看来，他们的成功不仅依靠团队成员的合理分工和始终拧成一股绳的凝聚力，也得益于指导老师肖春霞教授的认真指导、学院学校的大力支持。肖春霞教授从头到尾对团队的比赛项目严格把关，学院也提前为团队提供合适的答辩场所，并组织专家为团队的答辩内容进行指导。

潜能无限，未来可期

“AR逐光捕影”系统研制成功后，在娱乐、军事、教育和医疗上都将大放异彩，具有广泛的应用前景和实用价值。目前，团队部分研究成果已发表在计算机领域内顶级会议IEEE Conference on Computer Vision and Pattern Recognition上。同时，团队也已与腾讯公司（魔方工作室）展开深度合作，初步完成了整个算法框架的搭建并落地“安卓端”。
目前，光照领域相关研究在增强现实方向有着光明的前景，但由于研发难度较大，已有研究仍存在着诸多不足。另一方面，工业界中，谷歌、苹果及华为等公司都推出了自己的增强现实系统，但仍有很多问题。
“AR逐光捕影”的研究解决了领域内的一些难题，但他们并不会止步于此。在接下来的时间里，团队将进一步优化系统性能，争取提出更高效的算法，推动这一领域的进步。就像他们希望的：“在未来的某一天，这个项目相关的发展能切实走到普通人的生活中。”

 对学弟学妹，“逐光

捕影”

有话说……

 


“做科研一定要跟着自己的兴趣，过程中会遇到很多困难和挑战，这些都在所难免，但只要能坐得住冷板凳和守得住孤独，坚持下去，一定会有所收获。到那时，再回头看来时路，一切便都值得了。每一个光鲜亮丽的时刻，背后都是无数个日日夜夜的坚守，平淡、不断的寻求突破才是生活的常态。”
——鲍中运

在虚拟中追求真实

在光学中不断突破

攻坚难题 服务社会

“AI逐光捕影”

正奋进在实践和创新的征程上

求索不止，勇毅笃行

---RECOMMEND---

·推荐阅读·

昨晚，武大火爆得猝不及防！

在武大，你不能只看樱花……

1，3，2！祝贺武大学子

武汉大学-luojia1893-

感谢武汉大学计算机学院

封面图：田春雨

视频、图片来自于受访者

采访：张华

文案：李盈盈

编辑：马玥姝

责编：张华

审核：邢知博

投稿邮箱：[e-mail]

为“AR逐光捕影”队点个“赞”，再点个“在看”